@微光
2年前 提问
1个回答

大数据数据挖掘分析方法有哪些

趣能一姐
2年前

大数据数据挖掘分析方法有以下这些:

  • 神经网络方法:神经网络可用于数据挖掘的分类、聚类、特征挖掘、预测和模式识别等方面,在数据挖掘中占有举足轻重的作用。起初,神经网络在数据挖掘中的应用未被看好,其主要原因是神经网络具有结构复杂、可解释性差、训练时间长等缺陷。但其对噪声数据的高承受能力和低错误率的优点,以及各种网络训练算法的陆续提出与优化,尤其是各种网络剪枝算法和规则提取算法的不断提出与完善,使得神经网络在数据挖掘中的应用越来越为广大使用者所青睐。

  • 遗传算法:遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生全局优化方法,具有隐含并行性、易于和其他模型结合等性质,也是数据挖掘的主要算法之一。遗传算法的应用还体现在与神经网络、粗糙集等技术的结合上,如利用遗传算法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单元;用遗传算法和BP算法结合训练神经网络,然后从网络提取规则等。

  • 决策树方法:决策树是被研究最多的数据挖掘方法之一,是一种常用于预测模型的算法,它通过一系列规则将大量数据有目的地分类,从中找到一些有价值的、潜在的信息,在数据挖掘中,决策树方法主要用于分类。它的优点是描述简单、分类速度快、易于理解、精度较高,特别适合大规模的数据处理,最有影响和最早的决策树方法是由Quinlan提出的著名的基于信息墒的ID3算法。

  • 粗糙集方法:粗糙集理论是一种研究不精确、不确定知识的数学工具,粗糙集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统,为粗糙集的数据挖掘奠定了坚实的基础。粗糙集理论能够在缺少先验知识的情况下,对数据进行分类处理。因此,基于粗糙集的数据挖掘算法实际上就是对大量数据构成的信息系统进行约简,得到一种属性归约集的过程,最后抽取规则。

  • 覆盖正例排斥反例方法:利用覆盖所有正例、排斥所有反例的思想来寻找规则,首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择种子相容则舍去,相反则保留。

  • 统计分析方法:在数据库字段项之间存在两种关系:函数关系和相关关系,对它们的分析可采用统计学方法,例如常用统计分析、回归分析、相关分析、差异分析等。

  • 模糊集方法:利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高,模糊性越强,一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性。